Japanese Parsing Using Smaller BERT

BERT は fine-tuning することで様々な NLP タスクに対して高性能な結果を出した事前学習済みモデルであるが，多くのパラメータを調整する必要があるため学習や推論に時間がかかるという問題がある．本論文では日本語構文解析に対して，BERT の一部の層を削除した簡易小型化 の利用を提案する．実験では，京都大学ウェブ文書リードコーパスと京都大学テキストコーパスを混合したデータを用いて，京大版の とそこから構築した簡易小型化 の正解率と処理時間を比較した．提案する簡易小型化 では，京大版の からの正解率の劣化をウェブコーパスで 0.87 ポイント，テキストコーパスで 0.91 ポイントに押さえながら，学習時間は 83%，推論時間はウェブコーパスで 65%，テキストコーパスで 85%まで削減することができた．